Modélisation des métadonnées spatio-temporelles associées aux contenus vidéos et interrogation de ces métadonnées à partir des trajectoires hybrides : application dans le contexte de la vidéosurveillance

Le nombre de caméras vidéos déployées de nos jours tant dans des contextes professionnels (e.g., dans le cadre des systèmes de vidéo surveillance urbaine) aussi bien que personnels (e.g., caméras de smartphones) augmente de façon exponentielle, générant des volumes de contenus considérables. Rendre le filtrage et la recherche de ces contenus plus efficace est une préoccupation inévitable, avec des exigences de vélocité et de mobilité des contenus liées aux nouvelles infrastuctures qui obligent à revitaliser les techniques d'indexation "classiques". Les approchent existantes pour répondre à ce besoin se focalisent sur deux axes: (1) la proposition d'outils d'analyse des contenus vidéos pour l'extraction automatique d'informations comme le contour des personnes ou la présence d'une activité "anormale"; (2) l'indexation des vidéos en utilisant des métadonnées liées aux contenus (e.g., un texte descriptif, des tags, des données de géolocalisation). Nos travaux se situent dans le second axe. Le contexte d'application de notre travail est celui des systèmes de vidéosurveillance. Notre recherche a été guidée par différents projets de recherche en collaboration avec la Police Nationale, la SNCF, la RATP et Thalès Sécurité. Dans le contexte, les systèmes visés sont caractérisés par: (1) une grande "variété" des contaxtes d'acquisition des contenus (e.g., indoor, outdoor), (2) un très grand volume de données et un manque d'accès à certains contenus, (3) la multitude des formats fermés propriétaires et l'absence de standards, qui engendre une hétérogénéité des formats des données et des métadonnées issues de tels systèmes. De ce fait, d'une part, le développement d'outils d'analyse du contenu génériques et performants dans tous les contextes est très problématique compte tenu des diversités des contextes d'acquisition, des volumes à traiter et de l'inaccessibilité directe de certianes sources. D'autre part, l'absence de métadonnées ajoutées aux vidéos (tags, commentaires) rend quasi caduque l'utilisation des approches d'indexation classique. La première contribution de ce mémoire est une conséquence directe de ce constat et consiste en un dictionnaire de métadonnées spécifique au contexte de la vidéosurveillance. Ce dictionnaire est structuré dans un format qui enrichit la norme ISO 22311 qui a comme objectif la facilitation de l'interopérabilité des systèmes de vidéosurveillance. La seconde contribution concerne la recherche et le filtrage de vidéos basés sur des métadonnées spatio-temporelles. Nous avons réalisé une étude sur le traitement actuel des requêtes dans le cadre des systèmes de vidéosurveillance qui met en évidence que le point d'entrée de toute requête est une trajectoire reconstituée à partir des positions d'une personne par exemple et d'un intervalle temporel qui est ensuite utilisée pour retrouver des extraits vidéos des caméras qui ont pu filmer une scène d'intérêt. De ce fait, la recherche de vidéos est positionnée comme un problème de modélisation des données spatio-temporelles. Dans ce cadre, nous avons proposé les éléments suivants: - une définition du concept de requête trajectoire hybride qui est constituée des segments géométriques et symboliques exprimés par rapport à des systèmes de référence différents (e.g., système géodésique, réseau routier); - un modèle de données multicouches qui intègre des données concernant: le réseau routier, le réseau de transport, le mouvement des objets et les changements de champs de vue des caméras; - des opérateurs qui, à partir d'une requête trajectoire et d'un intervalle temporel, sélectionnent les caméras fixes et mobiles dont le champ de vue est succeptible d'avoir "filmé" la trajectoire requête. Nos contributions ont été validées dans le cadre d'un prototype mettant en oeuvre ces trois aspects. Il est basé sur l'API Google Maps pour construire des requêtes hybrides et utilise des data stes fournis dans le cadre de l'open data par différentes collectivités (Transport Collectif de Toulouse). Notre travail donne lieu à des perspectives multiples qui concernent l'extension du modèle de requête de trajectoire hybride dans un environnement indoor, la participation dans un projet national de mise en place de démonstrateurs dans des situations réelles de vidéosurveillance afin de pouvoir tester le framework sur des données réelles ou le développement d'une architecture d'outil Forensic qui intègre des fonctionalités de filtrage spatio-temmporel et des modules d'analyse de contenu.The number of video cameras deployed nowadays in both professional (e.g., urban videosurveillance systems) and personal (e.g., smartphone's cameras) contexts is growing exponentially, producing some considerable volumes of data. Driving the flitering and the retrieval of this content more effective is a major concern, driven by the content mobility and velocity requirements related to the utilization of new technologies, requirements that lead to the need to revitalize the classical indexing techniques. The actual approches that aim to satisfy these requirements have a twofold orientation: (1) the proposition of video content based indexing tools that automatically extract information like a person's shape or the persence of an "abnormal" activity in the video; (2) the video indexing based on metadata like textual descriptions, tags or geolocalisation data. Our work concern this second research direction. the application context of our work is related to videosurveillance systems. Our research was guided by different research projects in collaboration with the National Police, SNCF, RATP end Thales Sécurité. In the context, the targeted systems are characterized by: (1) the big "variety" of content acquisition contexts (e.g., indoor, outdoor), (2) the big data volume and the lack of access to some content, (3) the multitude of system owners and the lack of standards, wich leads to a heterogeneity of data and metadata formats generated by videosurveillance systems. Consequently, on one hand, the developement of content based indexing tools generic and reliable in all contexts is problematic given tha acquisition contexts diversity, the content volume and the lack of direct access to certain sources. On the other hand, the lack of metadata associated to the video (tags, comments) makes the use of classical indexing approaches very difficult. The first contribution of this report is a direct consequence of this assessment and consists of a metadata dictionary specific for the videosurveillance context. This dictionary is structure in a format that enriches the ISO 22311 standard whose objective is to facilitate the interoperability of videosurveillance systems. The second contribution concerns the video filtering and retrieval. We did an analysis of the current query processing mechanism within the videosurveillance systems that highlighted the fact that the entry point of any query is a trajectory reconstituted based on a person's positions and a time interval. These elements are used to select the videos of the cameras that are likely to have filmed the scenery of interest. Consequently, the video retrieval is trated as a spatio-temporal data modelling problem. In this context, we proposed the following elements: - a definition of the hybrid trajectory query concept, trajectory that is constitued of geometrical and symbolic segments represented with regards to different reference systems (e.g., geodesic system, road network); - a multilayer data model that integrates data concerning: the road network, the transportation network, the objects movement, the cameras fields of view changes; - some operators that, based on a trajectory query and a time interval, select the fixed and mobile cameras whose field of view is likely to have filmed the query trajectory. Our contributions were validated within a prototype that implement these three elements. This prototype is based on the Google Maps API in order to build the hybrid trajectories and uses the datasets provided by the opendata projects led by different communities (Public Transportation of Toulouse). Our research contributions lead to many interesting future work perspectives like: extending the hybrid trajectory query model in a indoor environnement, joining a national project taht aims to set up some demonstrators in realistic videosurveillance contexts so that we could evaluate our framework on real data, developing a Forensic tool architecture that integrates both spatio-temporal filtering functionalities and video analysis modules

Video spatio-temporal filtering based on cameras and target objects trajectories - Videosurveillance forensic framework

International audienceThis paper presents our work about assisting video-surveillance agents in the search for particular video scenes of interest in transit network. This work has been developed based on requirements defined within different projects with the French National Police in a forensic goal. The video-surveillance agent inputs a query in the form of a hybrid trajectory (date, time, locations expressed with regards to different reference systems) and potentially some visual descriptions of the scene. The query processing starts with the interpretation of the hybrid trajectory and continues with a selection of a set of cameras likely to have filmed the spatial trajectory. The main contributions of this paper are: (1) a definition of the hybrid trajectory query concept, trajectory that is constituted of geometrical and symbolic segments represented with regards to different reference systems (e.g., Geodesic system, road network), (2) a spatio-temporal filtering framework based on a spatio-temporal modeling of the transit network and associated cameras

Recherche d'extraits vidéos par reconstitution des trajectoires de caméras mobiles à partir d'un modèle spatio-temporel-Application à la vidéosurveillance

National audienceLe domaine d’application de ces travaux relève de l’aide aux opérateurs humains de vidéosurveillance dans l’analyse manuelle d’extraits vidéos particuliers (e.g., recherche individu, objet perdu) via la sélection automatique d’un ensemble de caméras susceptibles d’avoir filmé une scène recherchée et l’identification des séquences vidéos correspondant à chaque caméra. Cette sélection s’appuie sur un modèle de données dont la contribution consiste à rendre disponibles des données de calcul de la géométrie du champ de vue des caméras. Plutôt que de stocker cette géométrie en tant que telle et son évolution au cours du temps, celle-ci est calculée dynamiquement en fonction de caractéristiques temporelles. Nous proposons un opérateur de sélection de caméras basé sur des critères spatiotemporels de calcul des intersections entre, d’une part, un parcours donné (e.g., personne agressée), et, d’autre part, les prises de vues des caméras fixes et les trajectoires des caméras mobiles. Nous illustrons l’opérateur par des exemples

Vers une extraction contextuelle des métadonnées multimédias

International audienceLa diversité des contenus multimédias a engendré une diversité croissante des algorithmes d’indexation. L’exécution de tous les algorithmes dont on dispose sur tous les contenus multimédias disponibles surcharge le système et extrait des informations qui peuvent ne pas être utilisées. Dans ce papier nous proposons une technique d’indexation différée, distribuée et adaptative dans un système d’information multimédia distribué. Les contenus multimédias sont analysés en deux pas : au moment de l’acquisition des contenus par des algorithmes (implicites) qui extraient des métadonnées génériques (e.g., présence de personne) et au moment de la requête par des algorithmes (explicites)qui analysent les contenus pour extraire des informations plus poussés (e.g.,reconnaissance des personnes). La sélection des deux ensembles d’algorithmes (implicites et explicites) est réalisée en fonction des requêtes des utilisateurs et des performances des algorithmes dans différents contextes

Mobile objects and sensors within a video surveillance system: Spatio-temporal model and queries

International audienceThe videos recorded by video surveillance systems represent a key element in a police inquiry. Based on a spatio-temporal query specified by a victim, (e.g., the trajectory of the victim before and after the aggression) the human operators select the cameras that could contain relevant information and analyse the corresponding video contents. This task becomes cumbersome because of the huge volume of video contents and the cameras' mobility. This paper presents an approach, which assists the operator in his task and reduces the research space. We propose to model the cameras' network (fixed and mobile cameras) on top of the city's transportation network. We consider the video surveillance system as a multilayer geographic information system, where the cameras are situated into a distinct layer, which is added on top of the other layers (e.g., roads, transport) and is related to them by the location. The model is implemented in a spatio-temporal database. Our final goal is that based on a spatio-temporal query to automatically extract the list of cameras (fixed and mobile) concerned by the query. We propose to include this automatically computed relative position of the cameras as an extension of the standard ISO 22311

Spatio-temporal metadata filtering and synchronising invideo surveillance

International audienceThis paper presents an ongoing work that aims at assisting videoprotection agents in the search for particular video scenes of interest in transit network. The video-protection agent inputs a query in the form of date, time, location and a visual description of the scene. The query processing starts by selecting a set of cameras likely to have filmed the scene followed by an analysis of the video content obtained from these cameras. The main contribution of this paper is the innovative framework that is composed of: (1) a spatiotemporal filtering method based on a spatio-temporal modeling of the transit network and associated cameras, and (2)a content-based retrieval based method on visual features. The presented filtering framework is to be tested on real data acquired within a French National project in partnership with the French Interior Ministry and the French National Police. The project aims at setting up public demonstrators that will be used by researchers and commercials from the video-protection community

Spatio-temporal metadata associated to video content modelling and querying based on hybrid trajectories : application in the videosurveillance context

Le nombre de caméras vidéos déployées de nos jours tant dans des contextes professionnels (e.g., dans le cadre des systèmes de vidéo surveillance urbaine) aussi bien que personnels (e.g., caméras de smartphones) augmente de façon exponentielle, générant des volumes de contenus considérables. Rendre le filtrage et la recherche de ces contenus plus efficace est une préoccupation inévitable, avec des exigences de vélocité et de mobilité des contenus liées aux nouvelles infrastuctures qui obligent à revitaliser les techniques d'indexation "classiques". Les approchent existantes pour répondre à ce besoin se focalisent sur deux axes: (1) la proposition d'outils d'analyse des contenus vidéos pour l'extraction automatique d'informations comme le contour des personnes ou la présence d'une activité "anormale"; (2) l'indexation des vidéos en utilisant des métadonnées liées aux contenus (e.g., un texte descriptif, des tags, des données de géolocalisation). Nos travaux se situent dans le second axe. Le contexte d'application de notre travail est celui des systèmes de vidéosurveillance. Notre recherche a été guidée par différents projets de recherche en collaboration avec la Police Nationale, la SNCF, la RATP et Thalès Sécurité. Dans le contexte, les systèmes visés sont caractérisés par: (1) une grande "variété" des contaxtes d'acquisition des contenus (e.g., indoor, outdoor), (2) un très grand volume de données et un manque d'accès à certains contenus, (3) la multitude des formats fermés propriétaires et l'absence de standards, qui engendre une hétérogénéité des formats des données et des métadonnées issues de tels systèmes. De ce fait, d'une part, le développement d'outils d'analyse du contenu génériques et performants dans tous les contextes est très problématique compte tenu des diversités des contextes d'acquisition, des volumes à traiter et de l'inaccessibilité directe de certianes sources. D'autre part, l'absence de métadonnées ajoutées aux vidéos (tags, commentaires) rend quasi caduque l'utilisation des approches d'indexation classique. La première contribution de ce mémoire est une conséquence directe de ce constat et consiste en un dictionnaire de métadonnées spécifique au contexte de la vidéosurveillance. Ce dictionnaire est structuré dans un format qui enrichit la norme ISO 22311 qui a comme objectif la facilitation de l'interopérabilité des systèmes de vidéosurveillance. La seconde contribution concerne la recherche et le filtrage de vidéos basés sur des métadonnées spatio-temporelles. Nous avons réalisé une étude sur le traitement actuel des requêtes dans le cadre des systèmes de vidéosurveillance qui met en évidence que le point d'entrée de toute requête est une trajectoire reconstituée à partir des positions d'une personne par exemple et d'un intervalle temporel qui est ensuite utilisée pour retrouver des extraits vidéos des caméras qui ont pu filmer une scène d'intérêt. De ce fait, la recherche de vidéos est positionnée comme un problème de modélisation des données spatio-temporelles.The number of video cameras deployed nowadays in both professional (e.g., urban videosurveillance systems) and personal (e.g., smartphone's cameras) contexts is growing exponentially, producing some considerable volumes of data. Driving the flitering and the retrieval of this content more effective is a major concern, driven by the content mobility and velocity requirements related to the utilization of new technologies, requirements that lead to the need to revitalize the classical indexing techniques. The actual approches that aim to satisfy these requirements have a twofold orientation: (1) the proposition of video content based indexing tools that automatically extract information like a person's shape or the persence of an "abnormal" activity in the video; (2) the video indexing based on metadata like textual descriptions, tags or geolocalisation data. Our work concern this second research direction. the application context of our work is related to videosurveillance systems. Our research was guided by different research projects in collaboration with the National Police, SNCF, RATP end Thales Sécurité. In the context, the targeted systems are characterized by: (1) the big "variety" of content acquisition contexts (e.g., indoor, outdoor), (2) the big data volume and the lack of access to some content, (3) the multitude of system owners and the lack of standards, wich leads to a heterogeneity of data and metadata formats generated by videosurveillance systems. Consequently, on one hand, the developement of content based indexing tools generic and reliable in all contexts is problematic given tha acquisition contexts diversity, the content volume and the lack of direct access to certain sources. On the other hand, the lack of metadata associated to the video (tags, comments) makes the use of classical indexing approaches very difficult. The first contribution of this report is a direct consequence of this assessment and consists of a metadata dictionary specific for the videosurveillance context. This dictionary is structure in a format that enriches the ISO 22311 standard whose objective is to facilitate the interoperability of videosurveillance systems. The second contribution concerns the video filtering and retrieval. We did an analysis of the current query processing mechanism within the videosurveillance systems that highlighted the fact that the entry point of any query is a trajectory reconstituted based on a person's positions and a time interval. These elements are used to select the videos of the cameras that are likely to have filmed the scenery of interest. Consequently, the video retrieval is trated as a spatio-temporal data modelling problem

Spécification et utilisation d'un modèle de description d'algorithmes d'indexation

International audienceNowadays, many multimedia contents are created and stored on remote sites through heterogeneous environments having different capacities. This increasing amount of data is generally indexed by algorithms which extract metadata that will be further queried by a user for retrieving some desired information. Because of the large palette and the diversity of these indexing algorithms, it is not suitable to execute at once every indexing algorithms. Actually, it will overload the information system and will also produce metadata that may not be used inside the system. Moreover, it is cumbersome to determine manually, before and during the execution of the system, the suitable set of indexing algorithms that have to be considered. Consequently, we propose in this paper an indexing algorithm description model and show how to use such model for determining, according specific user needs, properties and contexts, a relevant set of indexing algorithms. Our proposal has been integrated in the ITEA2 LINDO project for indexing implicitly and explicitly multimedia contents.Actuellement, de nombreux contenus multimédias sont créés et stockés dans des environnements hétérogènes, éloignées géographiquement, de capacités diverses... Cette masse de données est généralement indexée par des algorithmes qui vont extraire des métadonnées permettant à un utilisateur de rechercher de l’information. De part la diversité et la multitude d’algorithmes d’indexation existants, il n’est pas souhaitable d’exécuter tous ces processus simultanément dans un système d’information. En effet, cela consommerait énormément de ressources et certaines métadonnées pourrait n’être jamais exploitées par le système. De plus, il n’est pas envisageable de déterminer manuellement, avant et pendant l’exécution du système d’information, les algorithmes d’indexation à installer. Dans cet article, nous présentons un modèle de description d’algorithmes d’indexation et montrons comment exploiter ce modèle pour déterminer une liste d’algorithmes d’indexation appropriée par rapport à un ensemble de besoins, de propriétés et de contextes. Également, nous montrons que nos travaux s’intègrent dans le cadre du projet ITEA2 LINDO pour indexer implicitement et explicitement des contenus multimédias

Modélisation de trajectoires cible/caméra : requêtes spatio-temporelles dans le cadre de la videosurveillance

Le nombre de caméras de vidéosurveillance installées dans le monde augmente chaque jour. En France, le système de la RATP déployé sur Paris comprend 9000 caméras fixes et 19000 mobiles. Lors de faits particuliers (e.g., agressions, vols), les opérateurs de vidéo surveillance se basent sur les indications spatiales et temporelles de la victime et sur leur connaissance de la localisation des caméras pour sélectionner les contenus intéressants pour l’enquête. Deux grands problèmes peuvent alors survenir : (1) le temps de réponse est long (jusqu’à plusieurs jours de traitement) et (2) un risque important de perte de résultats à cause d’une mauvaise connaissance du terrain (appel à des opérateurs extérieurs). Le but de notre recherche est de définir des outils d’assistance aux opérateurs qui puissent, à partir d’une trajectoire donnée, sélectionner de façon automatique les caméras pertinentes par rapport à la requête